Hadoop 伪分布部署

Hadoop 伪分布式环境配置，使用master节点：

修改 Hadoop 相关文件（hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml）

配置 hadoop-env.sh、yarn-env.sh

export JAVA_HOME=/usr/local/src/

配置 core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://47.93.254.53:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/project/hadoop/tmp</value>
  </property>
</configuration>

配置 hdfs-site.xml

dfs.replication:指定了hdfs 中每个block被复制的次数。我们这里的伪分布式只有一个数据节点，所以设置为1.

dfs.namenode.name.dir：指定了hdfs 的NameNode 的目录路径

dfs.datanode.data.dir：指定了hdfs 的DataNode 的目录路径

dfs.http.address：指定了http访问的地址与端口。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
   </property>
   <property>
        <name>dfs.namenode.name.dir</name>
        <value>>/home/project/hadoop/dfs/name</value>
   </property>
   <property>
         <name>dfs.datanode.data.dir</name>
         <value>/home/project/hadoop/dfs/data</value>
   </property>
</configuration>

配置 mapred-site.xml（暂时没有配置）

mapreduce.framework.name：指定mr框架为yarn方式,Hadoop二代MP也基于资源管理系统Yarn来运行 。

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

配置 yarn-site.xml（暂时没有配置）

yarn.resourcemanager.hostname：yarn总管理器的IPC通讯地址

<configuration>

    <!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

</configuration>

配置 slaves 文件

master

格式化hdfs

 hadoop namenode –format

查看hdfs情况
hadoop dfsadmin -report

start-dfs.sh
start-yarn.sh ，完成后，再输入jps查看进程 
7425 NodeManager
6932 NameNode
7047 DataNode
7335 ResourceManager
7194 SecondaryNameNode
7710 Jps

如果看到这5个进程，表示ok了

使用浏览器访问master的相关端口，如果都能打开，说明启动应该是没什么问题了。

50070：hdfs文件管理

8088：ResourceManager

8042：NodeManager

如果上面三个页面均能显示，那么搭建也许成功了。